加速生物序列设计的能力可以对医疗领域的进度产生重大影响。该问题可以作为一个全球优化问题，在该问题中，该目标是昂贵的黑盒功能，因此我们可以查询大量限制，并限制较少的回合。贝叶斯优化是解决此问题的原则方法。然而，生物序列的天文范围较大的状态空间使所有可能的序列都在不可行。在本文中，我们提出了Metarlbo，在其中我们通过元强化学习训练自回归的生成模型，以提出有希望的序列，以通过贝叶斯优化选择。我们提出了这个问题，因为它是在上一轮中获取的数据的采样子集引起的MDP分布上找到最佳策略的问题。我们的内部实验表明，与现有强大基准相比，对此类合奏的元学习提供了鲁棒性，可抵抗奖励错误指定和实现竞争成果。

强化学习的标准制定缺乏指定禁止和禁止行为的实用方式。最常见的是，从业者通过手动工程来指定行为规范的任务，这是一个需要几个迭代的反向直观的过程，并且易于奖励代理人。在这项工作中，我们认为，几乎完全用于安全RL的受限制的RL，也有可能大大减少应用加强学习项目中奖励规范所花费的工作量。为此，我们建议在CMDP框架中指定行为偏好，并使用拉格朗日方法，该方法寻求解决代理程序的策略和拉格朗日乘法器之间的最小问题，以自动称量每个行为约束。具体而言，我们研究了如何调整CMDP，以便解决基于目标的任务，同时遵守一组行为约束，并提出对Sac-Lagrangian算法的修改以处理若干约束的具有挑战性的情况。我们对这一框架进行了一系列持续控制任务，该任务与用于视频游戏中NPC设计的加固学习应用相关。

基于坐标的网络成为3D表示和场景重建的强大工具。这些网络训练以将连续输入坐标映射到每个点处的信号的值。尽管如此，当前的架构是黑色盒子：不能轻易分析它们的光谱特性，并且在无监督点处的行为难以预测。此外，这些网络通常接受训练以以单个刻度表示信号，并且如此天真的下采样或上采样导致伪像。我们引入带限量坐标网络（BACON），具有分析傅里叶谱的网络架构。培根在无监督点处具有可预测的行为，可以基于所代表信号的光谱特性设计，并且可以在没有明确的监督的情况下代表多个尺度的信号。我们向培根展示用于使用符号距离功能的图像，辐射字段和3D场景的多尺度神经表示的培根，并表明它在可解释性和质量方面优于传统的单尺度坐标网络。

Federated Learning is a machine learning setting where the goal is to train a highquality centralized model while training data remains distributed over a large number of clients each with unreliable and relatively slow network connections. We consider learning algorithms for this setting where on each round, each client independently computes an update to the current model based on its local data, and communicates this update to a central server, where the client-side updates are aggregated to compute a new global model. The typical clients in this setting are mobile phones, and communication efficiency is of the utmost importance. In this paper, we propose two ways to reduce the uplink communication costs: structured updates, where we directly learn an update from a restricted space parametrized using a smaller number of variables, e.g. either low-rank or a random mask; and sketched updates, where we learn a full model update and then compress it using a combination of quantization, random rotations, and subsampling before sending it to the server. Experiments on both convolutional and recurrent networks show that the proposed methods can reduce the communication cost by two orders of magnitude. * Work performed while also affiliated with University of Edinburgh.